【レポート】Solving Weekly Challenge using In-Database tools – Alteryx Inspire 2023

In-DBツール使ってますか？

Alteryx Inspire 2023 at Las Vegas

#ビジネス・アナリティクス

#Alteryx

スズ

2023.06.17

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、スズです。

現地時間の2023年5月22日（月）～5月25日（木）に、ラスベガスにてAlteryx Inspire 2023が開催されました。本記事では、Alteryx Inspire 2023で開催されたセッション『Solving Weekly Challenge using In-Database tools』についてお届けします。

セッション概要（日本語訳）

本セッションでは、分析スキルのエクササイズやSQLのスキルアップのために、In-DBツールやSQLを活用するメリットを掘り下げます。Weekly Challengeに掲載された課題を中心に、In-DB処理を活用した効率的かつ効果的な解決策を学びます。この機会にIn-DB処理の世界に触れて、分析力を高めてみてはいかがでしょうか。

セッションレポート

登壇者紹介

Thales Donizeti Silva
- Senior Consultant, Analytics Engineering, phData
- 2019年からAlteryx ACE

What are Weekly Challenge?

Weekly ChallengeはAlteryx Communityによる取り組み
- ユーザーは課題に対して解決策を提示する
- 他のユーザーの解決策を見ることができる
- 練習や腕試しにとてもいい方法

What are In-Database tools?

In-DBツールは通常のツールとは少し違う仕組みになっている
- データの処理はデータベースサーバーで行われる
データベース処理と外部ファイルやAPIを組み合わせて、外部データをデータベースにプッシュし、データを融合させるというハイブリッドなアプローチを考える上で、In-DBツールはとても便利なツール

How do In-Database tools work?

どのツールもCTE（共通テーブル式）を構築している
Alteryxが最終的に連結SQL文をデータベースにプッシュするまで、全てのツールがCTEを構築している
ユーザーがデータを見るために閲覧In-DBツールを使用する場合、そのデータはデータベースを離れる
この処理は透過的で、Alteryxが動的出力In-DBツールを使って生成するクエリを見ることができる
また、動的入力In-DBツールを使うことで、SQLをデータベースにプッシュすることもできる
このセッションでは、これらの機能をお見せすることを第一の目的としている
- 初心者向けのチャレンジ

Weekly Challenge #1 - Join to Range

Weekly Challenge #1では、郵便番号のデータと、郵便番号の範囲を持つ顧客データを結合、地域別に顧客の数を集計する

ブログ執筆者補足：Alteryx Communityの日本語サイトでも問題が掲載されています。以下のサイトをご確認ください。
チャレンジ #1: 範囲に結合 - Alteryx Community

Weekly Challengeではstartのファイルと、最終的なデートセットとなるsolutionのファイルがある
- solutionのファイルには最終的なデータセットがあり、これと比較することで正しいかどうかを確認できる

Setup

In-DBツールを使うために使用するデータベースを用意
データベースに接続するためのドライバをインストール
- あわせてODBCを設定
Alteryxでデータ接続を作成
In-DBツールで作業が行えるよう、データベースにstartファイルのデータを生成
オブジェクトをテーブルに接続

Database - Snowflake

Snowflakeは30日間の無料トライアルが可能
In-DBツールを使ったWeekly Challengeの取り組みに利用できる
データベースサーバーなどのインストールは不要
Weekly Challengeのテーブルを保持するためにデータベースリソースの作成が必要

ODBC Driver and Connections

ODBCドライバはAlteryxのライセンスポータルからダウンロード可能
Windows PC上でODBCを検索するとメニューが表示される
Snowflakeに接続するためのDSNを作成する

Data Connection to load data

データをロードするためのデータ接続を作成する
バルクローダーも利用可能
- AlteryxからSnowflakeにデータをロードする最も早い方法
データ接続を管理するオプションを選択し、Snowflake接続を作成する
- ローカルステージング方式を選択する

In-DB connection

In-DBツールで作業するため、エンティティ接続を作成する
- ODBCで作成したDSNを参照し、Table/Fieldを選択し、SQL StyleをNoneにする

Load Start files to Snowflake

データ型が適切であることを確認し、作成した接続を参照してデータを出力する
Weekly Challengeごとにスキーマを作成することで、整理して使える
In-DBツールを使ってWeekly Challengeに取り組むためのセットアップは完了

Original Solution

Weekly Challengeの元のsolutionを確認
列分割ツール、行生成ツールがあるが、これらのツールはIn-DBツールには存在しない
- In-DBツールを使って処理する場合は避ける必要がある
列分割ツールでは対象の列を複数の列に分割する
行生成ツールで範囲内の全ての行（レコード）を生成

In-DB approach - Connect to the Reference Data

In-DBツールを使った場合のアプローチ
接続In-DBツールにSELECT句を使ってテーブルを読み込む

Formula In-DB tool

参照テーブル、ルックアップテーブルを操作して、テキストをカラムに変換する動作を再現
いくつか文字列操作のSQL関数を使うことができる
LEFT関数、RIGHT関数を使うことで、範囲を取得できる
- 郵便番号の場合、2000年から2019年までの範囲がある
- 真ん中にダッシュがあるため、ダッシュで分割する